Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
按需检索有用信息：选择性检索增强机器翻译的智能体强化学习
🧭 选择性检索增强 · 强化学习 ★ 深度解读
The University of Texas at Austin · Amazon
提出 SRAT，将检索作为可学习翻译动作，用 GRPO 与检索器对齐实现选择性检索增强
📌 工作参考价值（4 点）
- 把“是否调用外部知识”变成策略动作：不要固定 always-retrieve 或 never-retrieve，用 GRPO 以最终业务指标（如转化率、用户满意度）为奖励，让模型学习何时检索、生成什么查询。可以用于商品文案生成、客服回复等场景，避免无关知识干扰。
- 检索器要与下游质量对齐，而不是语义相似度：当知识库检索难度高、语义相似度不够时，用翻译/生成质量对比训练检索器，让正样本由“哪个文档能提升最终输出”决定。这可以迁移到推荐解释生成、广告标题生成等任务，直接用最终打分函数提供监督。
- 黑盒模型也能受益：训练一个独立的轻量检索策略（如 Qwen 小模型），用闭源大模型（Claude/GPT）的输出质量作为奖励，不动主模型参数也能提升其生成效果。适合在已有黑盒生成服务之上加一层自适应检索。
- 课程学习避免策略退化：先用高质量检索轨迹做 SFT 初始化，再 RL 时加临时检索惩罚防止模型退化成 never-retrieve。这个 trick 对任何需要学习“何时调用工具”的 Agent 场景都适用。